"""
演示RDD的flatMap成员方法的使用
"""

from pyspark import SparkConf, SparkContext
import os

os.environ['PYSPARK_PYTHON'] = "D:/Software/Work/miniconda3/python.exe"

conf = SparkConf().setMaster("local[*]").setAppName("test_spark")
sc = SparkContext(conf=conf)

# 准备一个RDD
rdd = sc.parallelize(["itheima itcast 666", "itheima itheima itcast", "python itheima"])

# 需求，将RDD数据表里面的一个个单词提取出来
rdd2 = rdd.map(lambda x: x.split(" "))
# flatMap()方法会对结果进行解除一层嵌套操作
rdd3 = rdd.flatMap(lambda x: x.split(" "))

print(f"map方法的计算结果：{rdd2.collect()}")
print(f"flatMap方法的计算结果：{rdd3.collect()}")
